The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

如今，随着发现的OSS漏洞的数量，开源软件（OSS）漏洞管理流程随着时间的流逝而增加。监视漏洞固定提交是防止脆弱性开发的标准过程的一部分。但是，由于可能有大量的审查，手动检测漏洞固定的犯罪是耗时的。最近，已经提出了许多技术来自动检测使用机器学习的漏洞固定提交。这些解决方案要么：（1）不使用深度学习，或（2）仅对有限的信息来源使用深度学习。本文提出了藤条，该工具利用了更丰富的信息来源，包括提交消息，代码更改和针对漏洞固定的提交分类的报告。我们的实验结果表明，在F1得分方面，沃尔维尔剂的表现优于最先进的基线。 Vulcurator工具可在https://github.com/ntgiang71096/vfdetector和https://zenodo.org/record/7034132#.yw3mn-xbzdi上公开获得。

构建静态呼叫图需要在健全和精度之间进行权衡。不幸的是，用于构建呼叫图的程序分析技术通常不精确。为了解决这个问题，研究人员最近提出了通过机器学习为静态分析构建的后处理呼叫图所授权的呼叫图。机器学习模型的构建是为了通过在随机森林分类器中提取结构特征来捕获呼叫图中的信息。然后，它消除了预测为误报的边缘。尽管机器学习模型显示了改进，但它们仍然受到限制，因为它们不考虑源代码语义，因此通常无法有效地区分真实和误报。在本文中，我们提出了一种新颖的呼叫图修剪技术AutoRoprouner，用于通过统计语义和结构分析消除呼叫图中的假阳性。给定一个由传统静态分析工具构建的呼叫图，AutoProuner采用基于变压器的方法来捕获呼叫者与呼叫图中每个边缘相关的呼叫者和Callee函数之间的语义关系。为此，AutoProuner微型调节模型是在大型语料库上预先训练的代码模型，以根据其语义的描述表示源代码。接下来，该模型用于从与呼叫图中的每个边缘相关的功能中提取语义特征。 AutoProuner使用这些语义功能以及从呼叫图提取的结构特征通过馈送前向神经网络分类。我们在现实世界程序的基准数据集上进行的经验评估表明，AutoProuner的表现优于最先进的基线，从而改善了F量级，在识别静态呼叫图中识别错误阳性边缘方面，高达13％。

深度学习已被广​​泛用于医学图像细分和其他方面。但是，现有的医学图像分割模型的性能受到获得足够数量的高质量数据的挑战的限制。为了克服限制，我们提出了一个新的视觉医学图像分割模型LVIT（语言符合视觉变压器）。在我们的模型中，引入了医学文本注释，以弥补图像数据的质量缺陷。此外，文本信息可以在一定程度上指导伪标签的产生，并进一步保证半监督学习中伪标签的质量。我们还提出了指数伪标签迭代机制（EPI），以帮助扩展LVIT和像素级注意模块（PLAM）的半监督版本，以保留图像的局部特征。在我们的模型中，LV（语言视觉）损失旨在直接使用文本信息监督未标记图像的培训。为了验证LVIT的性能，我们构建了包含病理图像，X射线等的多模式医学分割数据集（图像 +文本）。实验结果表明，我们提出的LVIT在完全和半监督条件下具有更好的分割性能。代码和数据集可在https://github.com/huanglizi/lvit上找到。

图像重新捕获严重打破了人工智能（AI）系统的公平性，该系统通过重新捕获他人的图像来欺骗系统。大多数现有的重新捕获模型只能根据数据集使用固定的电子设备来解决基于模拟重新安装图像的数据集的单个重新捕获模式（例如，Moire，Edge，Tratifact等）。在本文中，我们将图像重新定义为图像恢复识别的四种模式，即Moire重新捕获，边缘重新捕获，伪影重新捕获和其他重新捕获。同时，我们提出了一种新颖的特征分离和动态融合（FDDF）模型，以适应地学习最有效的重新捕获特征表示，以覆盖不同的重新接收模式识别。此外，我们收集了包含各种重新捕获模式的大规模真实场景通用重新捕获（RUR）数据集，大约是先前发布的数据集数量的五倍。据我们所知，我们是第一个提出一个通用模型和一个通用的实体大规模数据集，用于重新捕获的图像法医。广泛的实验表明，我们提出的FDDF可以在RUR数据集上实现最先进的性能。

Automatically generated static code warnings suffer from a large number of false alarms. Hence, developers only take action on a small percent of those warnings. To better predict which static code warnings should not be ignored, we suggest that analysts need to look deeper into their algorithms to find choices that better improve the particulars of their specific problem. Specifically, we show here that effective predictors of such warnings can be created by methods that locally adjust the decision boundary (between actionable warnings and others). These methods yield a new high water-mark for recognizing actionable static code warnings. For eight open-source Java projects (cassandra, jmeter, commons, lucene-solr, maven, ant, tomcat, derby) we achieve perfect test results on 4/8 datasets and, overall, a median AUC (area under the true negatives, true positives curve) of 92%.

Federated Learning是一个私人设计的分布式学习范式，客户在中央服务器汇总本地更新以计算全局模型之前，客户在自己的数据上训练本地模型。根据所使用的聚合方法，本地更新是本地学习模型的梯度或权重。最近的重建攻击对单个MiniBatch的梯度更新应用了梯度反演优化，以重建客户在培训期间使用的私人数据。由于最新的重建攻击仅关注单个更新，因此忽略了现实的对抗场景，例如跨多个小型批次训练的多个更新和更新。一些研究考虑了一个更具挑战性的对抗场景，在该场景中，只能根据多个迷你批次进行模型更新，并且可以观察到计算昂贵的模拟，以解开每个本地步骤的基本样本。在本文中，我们提出了一种新型的近似梯度反转攻击，可有效，有效地重建来自模型或梯度更新的图像，以及跨多个时期。简而言之，agic（i）近似于模型更新中使用的训练样本的梯度更新，以避免昂贵的仿真程序，（ii）利用从多个时期收集的梯度/模型更新，（iii）将权重增加到相对于层的重量增加重建质量的神经网络结构。我们在三个数据集CIFAR-10，CIFAR-100和Imagenet上广泛评估AGIC。我们的结果表明，与两种代表性的最先进的梯度反演攻击相比，AGIC将峰值信噪比（PSNR）提高了50％。此外，AGIC的速度比基于最新的模拟攻击快，例如，在模型更新之间使用8个本地步骤攻击FedAvg时，它的速度快5倍。

本文报告了Chalearn的Autodl挑战系列的结果和后攻击分析，这有助于对自动学习（DL）进行分类，以便在各种环境中引入的深度学习（DL），但缺乏公平的比较。格式化所有输入数据模型（时间序列，图像，视频，文本，表格）作为张量，所有任务都是多标签分类问题。代码提交已在隐藏的任务上执行，具有限制时间和计算资源，推动快速获取结果的解决方案。在此设置中，DL方法占主导地位，但流行的神经结构搜索（NAS）是不切实际的。解决方案依赖于微调预培训的网络，架构匹配数据模块。挑战后测试没有透露超出强加时间限制的改进。虽然没有组件尤其原始或新颖，但是一个高级模块化组织出现了“Meta-Learner”，“数据摄入”，“模型选择器”，“模型/学习者”和“评估员”。这种模块化使得消融研究，揭示了（离坡）元学习，合奏和高效数据管理的重要性。异构模块组合的实验进一步证实了获胜解决方案的（本地）最优性。我们的挑战队遗产包括一个持久的基准（http://utodl.chalearn.org），获胜者的开放源代码，以及免费的“autodl自助服务”。

自我监督的学习已经为单眼深度估计显示出非常有希望的结果。场景结构和本地细节都是高质量深度估计的重要线索。最近的作品遭受了场景结构的明确建模，并正确处理细节信息，这导致了预测结果中的性能瓶颈和模糊人工制品。在本文中，我们提出了具有两个有效贡献的通道 - 明智的深度估计网络（Cadepth-Net）：1）结构感知模块采用自我关注机制来捕获远程依赖性并聚合在信道中的识别特征尺寸，明确增强了场景结构的感知，获得了更好的场景理解和丰富的特征表示。 2）细节强调模块重新校准通道 - 方向特征映射，并选择性地强调信息性功能，旨在更有效地突出至关重要的本地细节信息和熔断器不同的级别功能，从而更精确，更锐化深度预测。此外，广泛的实验验证了我们方法的有效性，并表明我们的模型在基蒂基准和Make3D数据集中实现了最先进的结果。